Toldo memulakan karier bola sepak beliau di A.C. Milan; namun tidak pernah bermain pada sebarang perlawanan di kelab tersebut. Beliau telah dipinjamkan ke kelab Trento dan Ravenna dari 1991 hingga 1993. Toldo kemudian menyertai kelab Fiorentina, dan menjadi pemain utama kelab itu selama lapan musim. Beliau telah memenangi Coppa Italia sebanyak dua kali dan menyertai Liga Juara-Juara UEFA sekali ketika di kelab tersebut. Setahun sebelum Fiorentina bankrup, beliau telah dipindahkan ke Inter Milan pada 2001, di mana beliau telah menjadi penjaga gol utama sehingga musim panas 2005. Akibat enggan menyertai perlawanan persahabatan jelajah England, Toldo telah disingkirkan ke bangku simpanan dan digantikan oleh penjaga gol dari Brazil, Júlio César. Toldo berjaya meraih kembali tempat beliau selaku penjaga gol utama setelah menandatangi kontrak lanjutan dan kejatuhan prestasi César. Beliau akan berada di bawah kontrak bersama Inter sehingga 2009. Pada November 2006, beliau telah menjaringkan gol di San Siro ketika menentang Juventus sekaligus mengikat kedudukan mata 1-1 menerusi sepakan penjuru pada minit terakhir perlawanan. [2]